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(57) Abstract 

Method and device for non-stationary 
separation of signals of various sources or sep- 
aration of at least one signal background, com- 
prising a demixing phase with a switching ma- 
trix allocating, in a controlled manner, a num- 
ber of signal inputs with mixing signal com- 
ponents to various outputs on evaluation ele- 
ments by using an adaptive adding or multiply- 
ing algorithm. The adaptive algorithm can be 
variably controlled by using a variable leam- 
ing rate, wherein the learning rate is contin- 
uously adapted by inclusion of an algorithm 
which comprises the following steps: i) detec- 
tion of a differentiabie function or at least two 
matrixes from the signal, the separated signal 
and the learning rate, which evaluates the sep- 
arated signal; ii) adaptation of the switching 
matrix based on results of (i) and the learning 
rate, iii) adaptation of the learning rate based 
on results of (i) and (ii). 
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(57) Zusammenfassung 

Verfahren und Vorrichtung zur nichtstationaren Trennung von Signalen unterschiedlicher Quellen oder Trennung mindestens 
eines Signals von einem Signalhintergrund, mit einer Entmischungsstufe, die eine Sclialtmatrix aufweist, die eine Anzahl von 
Mischungssignalanteilen aufweisenden SignaleingSngen unterschiedlichen Ausgangen iiber Bewertungseiemente jeweils additiv oder 
multiplikativ iiber einen adaptiven Algorithmus steuerbar zuordnet, wobei der adaptive Algorithmus unter Nutzung einer variablen Lemrate 
veranderbar angesteuert wird, wobei die Lemrate kontinuerlich unter EtnschluB eines Algorithmus angepaBt wird, welcher die Schritte (i) 
Ermtttlung einer differenzierbaren Funktion oder mindestens zweier Matrizen aus dem Signal, dem getrennten Signal und der Lemrate, die 
das getrennte Signal bewertet bzw. bewerten. (ii) Adaptation der Schaltmatrix auf der Basis des Ergebnisses von (i) sowie der Lemrate, 
(iii) Adaptation der Lemrate auf der Basis der Ergebnisse von (i) und (ii), umfafit. 
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Beschreibung 

Die Erfindung betrifft ein Verfahren und eine Vorrichtung 
zur nichtstationaren Quel lent rennung ( Que llenvereinze lung) 
gemaB dem Oberbegriff des Anspruchs 1. 

Die Quellentrennung ist ein sowohl theoretisch interessan- 
5 tes als auch fiir Anwendungen hochrelevantes Gebiet. Die Ex- 
traktion eines Signals aus einem Signalgemisch oder aus ei- 
nem Signalhintergrund aufgrund seiner unabhangigen Merkmale 
findet sich nicht nur in primaren sensorischen Arealen des 
Gehirns, sondern spielt auch fur die technische Signalver- 

10 arbeitung eine zentrale Rolle als Grundprinzip der Vorver- 
arbeitung (J.J. Hopfield in Proc. natl. Acad, of Sciences 
USA, Bd. 88, S* 6462 (1991); H.B. Barlow et al., in „The 
computing neuron'', hrsg. von R. Durbin et al., S. 54, Addi- 
son Wesley 1989; C. Jutten et al. in Signal Processing, Bd. 

15 24, S. 1 (1991); P. Common in Signal Processing^ Bd. 36/ S. 
287 (1994); T. Bell et al. in Neural Comp. , Bd 7, S. 1129 
(1995a) ) . . 

So kommt es in vielen Problemen der Signalverarbeitung vor, 
dali das relevante Signal stark mit Rauschen, mit einem oder 

20 sogar mit mehreren anderen Signalen vermischt ist. Ver- 
rauschte oder vermischte Signale lassen sich nur schwierig 
erkennen und weiterverarbeiten, daher sind Algorithmen, die 
in kontrollierter Weise Signale und Storung trennen, von 
grolier Wichtigkeit. Eine lineare Mischung ware beispiels- 

25 weise 

7=Mf (1) 

wobei I das gemessene bekannte Signal ist und sowohl das 
Mischungsverhaltnis M als auch die Bestandteile des Origi- 
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nalsignals s unbekannt sind. Konvolutionen oder nichtli- 
neare Mischungen konnen als Verallgemeinerungen von Gl.(l) 
definiert werden. 

Klassische Methoden, die auf Filtern basieren, setzen vor- 
5 aus, dafi sich Spektren von Signal and Rauschen stark unter- 
scheiden. 

Im allgemeinen hat man aber weder a-priori Wissen uber die 
Wahrscheinlichkeitsverteilung der Signale noch uber die 
Storung, Dabei hat es sich als zweckmafiig erwiesen, die 

10 Wahrscheinlichkeitsdichten der vermischten Prozesse blind 
(datengetrieben) zu schatzen. Fur die Quellentrennung ver- 
suchte man dabei Architekturen zu finden, welche die Trans- 
formation zwischen Eingangs- und Ausgangssignalen maximie- 
ren oder aber untereinander minimal korrelierte Ausgabesi- 

15 gnale zu erhalten (G. Decco et al., ,,An information- 
theoretic approach to neural computing". Springer 1996) . 
Ublicherweise wird dazu die Entropie der einzelnen Ausgaben 
approximiert . 

Dies geschieht beispielsweise durch eine Edgeworth oder ei- 
20 ne Gram-Charlier Entwicklung der Ivlomente (cf. Jutten et al 
1991; Common 1994; S. Amari et al., in ,,Advances in Neural 
Information Processing Systems 8 (NIPS 95) '\ hrsg. von D.S. 
Touretzky et al., MIT Press 1995). Bell et al. (1995a) ver- 
wenden eine inf ormationstheoretisch motivierte Anti-Hebb- 
25 Regel, um sich die notwendigen Momente hoherer Ordnung zu 
erzeugen. Eine weitere sehr elegante Methode zur Entmi- 
schung ist ein von Molgedy und Schuster vorgestellter li- 
nearer Algorithmus. Hier werden nicht nur gleichzeitige, 
sondern auch zeitversetzte Kreuzkorrelationen der Ausgaben 
30 minimiert und so kann durch Zeitversetzung die Berucksich- 
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tigung von Korrelationen hoherer Ordnung vermieden werden 
(L. Molgedey und H,G. Schuster, in Phys , Rev. Lett./ Bd, 
72, S. 3634 (1994) ) . 

Quellentrennungsalgorithmen werden u.a. zur Analyse von EEG 
5 Signalen eingesetzt (cf. S. Makeig et al . , in ^Advances in 
Neural Information Processing Systems 8 (NIPS 95) '\ hrsg. 
von D.S, Touretzky et al., S. 145, MIT Press 1995; Bell et 
al. 1995a) und sind auch fur die Spracher kennung von grofiem 
Nutzen (T. Bell et al. in „Proc. of ICASSP '95'\ 1995b). 

10 Man unterscheidet zwischen der Quellentrennung, in der (a) 
stationare und (b) instationare Mischungen vorliegen. Wah- 
rend Fall (a) Stand der Technik ist, ist der nichtstationa- 
re Fall (b) bisher technisches Neuland. In der Praxis lie- 
gen normalerweise instationare Mischungen vor - Fall (b) . 
15 Es gibt wenige Algorithmen, die potentiell fur den 
nichtstationaren Fall (b) von Nutzen sein konnten. Ein Al- 
gorithmus fiir den nichtstationaren Fall mufi namlich ein On- 
line-Algorithmus sein, der schnell genug eine Anderung . der 
Mischung erkennen und ihr folgen kann. 

Es gibt auch eine Reihe von On-line-Algorithmen, die Klas- 
sifikations- oder Regressionsanwendungen ihren Einsatz fin- 
den (Saad et al . , Workshop at NIPS ^ 95 ^ siehe 
http : Wneural-server . aston . ac. uk\nips95\workshop . html, und 
darin enthaltene Quellen (1995) ) . Einige dieser On-line- 
Verfahren (C. Darken et al., in ^Advances in Neural Infor- 
mation Processing Systems 4 (NIPS 91) '\ hrsg. von J. E. 
Moody et al., San Mateo CA: Morgan Kaufmann, S. 1009 (1992)) 
sind sogar in der Lage, eine stationare Losung - Fall (a) - 
gut zu approximieren, indem sie zv/ei Phasen der Konvergenz 
durchlaufen, in der die Lernrate rj unterschiedlich angepalit 



20 
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wird. Es wird dabei ein Gradientenabstieg in den Parametern 
w 

H',,, =H', -'7,C(wJ— /(x,,,w,y,,,;w,) (2) 

benutzt, wobei /(^,+i,>',+i;^,) die Fehler- bzw. Likelihood- 
5 Funktion ist. Der Index t beschreibt die Zeit bzw. die 
schon gesehene Anzahl der Daten, C ist eine Matrix, die un- 
terschiedlich gewahlt werden kann. 

In einer ersten Phase wird die Lernrate ri konstant gehal- 
. ten: 

10 7 = konstant, (3) 

urn nachfolgend in einer zweiten Phase, sobald der stocha- 
stische Suchprozess (Gradientenabstieg aus Gl.{2)) in die 
Nahe des gesuchten Minimums kommt, reduziert zu werden: 

7 = y 

15 Im Jargon spricht man hier von einem "Abkuhlen" der Lernra- 
te . 

Je mehr Daten das Lernverf ahren sieht (je grofier also der 
Index t aus Gl.{4) wird), desto geringer wird die Lernrate 
r| und desto geringer die Suchgeschwindigkeit im Phasenraum. 
20 Ein herkommlicher On-Line-Algorithmus wird also nach gewis- 
ser Zeit in Phase 1 in die zweite Phase ubergehen und zur 
Losung konvergieren . 

Andert sich die Statistik der Daten, zum Beispiel im Falls 
der Quellentrennung das Mischungsverhaltnis der Signale, 
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dann wird das herkommliche On-Line-Verf ahren der verander- 
ten Losung nur mit winzigen (und immer kleiner werdenden) 
Suchschritten (cf. Gl . 4 ) hinterhereilen, da es nicht mehr 
zur ersten Phase - der konstanten groBen Lernrate - zuruck- 
5 kehren kann. Das bedeutet, dafi die neue Losung mit veran- 
derter Datenstatist ik gar nicht erreicht wird, somit das 
On-line-Verf ahren trotz Adaptivitat in der Praxis vollig 
nutzlos ist- 

Die oben beschriebenen On-line-Algorithmen sind in der Pra- 
10 xis nicht schnell genug in der Lage^ eine Nichtstationari- 
tat zu erkennen und zu verfolgen, da sie nicht automatisch 
aus der zweiten Phase in die erste zuriickkehren konnen, 
somit sind die beschriebenen On-line-Algorithmen fur den 
instationaren Fall (b) trotz Adaptivitat nutzlos. 

15 Betrachtet man On-line-Lernen mit konstanter Lernrate, so 
kann man dabei einer Anderung der Statistik folgen, jedoch 
ist es relativ langsam und aus systemat ischen Grunden nicht 
in der Lage, die Losung sauber zu approximieren , Denn die 
Varianz oder Abweichung von der Optimallosung ist immer von 

20 der GroBenordnung der Lernrate abhangig. So besteht bei 
konstanter Lernrate das Problem, entweder mit grofier Lern- 
rate einer Anderung der Statistik schnell zu folgen, aber 
gleichzeitig auch immer weit (Groiienordnung der Lernrate) 
von der Losung weg zu sein, oder mit kleiner Lernrate eine 

25 Statistikanderung zu 'langsam zu verfolgen, aber gleichzei- 
tig dafur der Losung etwas naher zu sein. 

Da der Batch-Algorithmus alle Daten zur Schatzung nimmt, 
ist er im instationaren Fall immer weit weg von der optima- 
len Losung, da er den Mittelwert der sich zeitlich veran- 
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dernden Losung berechnet und sich somit als relativ nutzlos 
erweist . 

Nur eines dieser Verfahren ist in der Lage, Nichtstationa- 
ritat zu erkennen und sich schnell anzupassen. Sompolinski 
5 et al 1995 definierten diesen sogenannten "learning of le- 
arning" Algorithmus . Der "learning of learning" Algorithmus 
ist in der Lage, zu detektieren, wann sich die Statistik 
der Daten verandert und automatisch in die erste Phase der 
stochastischen Suche mit konstanter (grolier) Lernrate 7 zu- 

10 ruckzuschalten . Nach schnellem Konvergieren bis in Losungs- 
nahe (erste Phase) , wird die Lernrate wiederum "abgekuhlt" 
(zweite Phase cf. Gl.(4). Leider ist das "learning of lear- 
ning" Verfahren nur fur ein einfaches Perceptron mit einer 
diskreten Fehlerf unktion definiert und ist daher in der von 

15 H. Sompolinski et al. in ,,Neural Networks: The Statistical 
Mechanics Perspective"', hrsg. von J.-H. Oh et al., S.105 
Singapore: World Scientific (1995) angegebenen Form nicht 
allgemein anwendbar. Insbesondere sind Quellent rennungspro- 
bleme kontinuierlich und nicht diskret und es kann keine 

20 explizite Fehlerf unktion definiert werden, 

Zusammenf assend bestehen also folgende Nachteile der be- 
kannten Verfahren: 

1. Herkommliche adaptive On-line-Algor ithmen konnen nicht 
effizient und schnell mit Nichtstationaritat der Da- 

25 tenstatistik umgehen. Man kann zeigen, dafi sie die 

veranderte Optimallosung nicht erreichen konnen. 

2. On-line-Algorithmen mit fester Lernrate sind systema- 
tisch entweder ungenau Oder langsam. 
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3. Batch Verfahren approximieren den Mittelwert aller 
zwischenzeitlich angenommenen Losungen, wenn eine 
zeitvariante Datenstatistik vorliegt und sind daher 
sehr ungenau. 

5 4- Das "learning of learning" Verfahren ist zwar adaptiv 
und kann effektiv mit Nichtstationaritat umgehen, es 
ist aber nur fur den Fall einer diskreten Fehlerfunk- 
tion definiert und ist daher in dieser Form fur die 
Praxis nicht einsetzbar. 

10 Der Erfindung liegt demgemaB die Augabe zugrunde, ein Ver- 
fahren der eingangs genannten Gattung anzugeben, welches 
sich on-line an Instat ionar itaten in der Datenstatistik fur 
die Anwendungen Regression, Klassif ikation und Quellentren- 
nung adaptiert. 

15 Diese Aufgabe wird mit den im Anspruch 1 angegebenen Mafii- 
nahmen gelost. 

Die "learning of learning" Idee wurde erf indungsgemafl er- 
weitert und funktioniert nun auch fur den Fall, daB (a) ei- 
ne kontinuierliche Fehlerf unktion und/oder (b) die Hessema- 

20 trix gegeben ist oder weder (a) noch (b) gegeben ist und 
entweder (c) ein Flufi definiert werden kann, oder (d) dali 
keine weitere Information vorliegt, und das entmischte Si- 
gnal direkt zur Berechnung von Kovarianzmatrizen verwendet 
wird. Das bedeutet, dali das erf indungsgemalie Verfahren ein 

25 allgemeiner On-line-Algorithmus ist, der sich selbstandig 
an Anderungen der Datenstatistik anpassen kann. Es kann au- 
Berdem gezeigt werden, dali sich der erweiterte Algorithmus 
nach dem erf indungsgemalien Verfahren. in den Fallen (a) bis 
(d) beweisbar optimal schnell an veranderte Bedingungen an- 
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paiit; Der erf indungsgemafte On-line-Algori thmus kann zur Re- 
gression, Klassif ikation und Quellentrennung eingesetzt 
werden. Die Konvergenzrate ist sowohl bei stationarer als 
auch bei instationarer Datenstatistik beweisbar optimal, Es 
5 lassen sich damit auch bekannte Verfahren zur Quellentren- 
nung als On-line-Lernproblem f ormulieren und durch das er- 
f indungsgemafie Verfahren mit optimaler Konvergenzrate in- 
stationare Mischungen entmischen. 

Das erf indungsgemalie Verfahren bzw. die Vorrichtung zur 
10 Durchfuhrung des Verfahrens weist dabei insbesondere die 
folgenden Vorteile auf : 

~ Es ist in der Lage, unuberwacht - also ausschlieiilich 
datengetrieben - zu lernen und selbstandig, schnell 
und prazise Instationaritaten in der Datenstatistik zu 
15 erkennen und zu verfolgen. Dabei benotigt es im Ex- 

tremfall nur einen Datenpunkt pro Zeit zur Verarbei- 
tung . 

- Die Schatzung der Statistik ist in Echtzeit moglich, 

- Weiterhin gewahrleistet es auch fiir stationare Daten- 
20 statistiken eine optimale Konvergenz der Schatzung. 

Der zugrundeliegende On-line-Algorithmus ist einfach 
implementierbar, und hat beweisbar optimales Konver- 
genzverhalten fiir alle Falle stationarer und instatio- 
narer Datenstatistik (asymptotisches Erreichen der 
25 Cramer-Rao Schranke) , 

- Es erreicht eine Adaptivitat mit optimaler Adaptions- 
geschwindigkeit • 
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- Jeder Quellentrennungsalgorithmus, der als On-line- 
Lernproblem formuliert werden kann, kann in das erfin- 
dungsgemafie On-line-Verf ahren umf ormuliert werden und 
ist dann auch in der Lage, nichtstationare Mischungen 

5 zu erkennen und zu verfolgen. 

- Der On-line-Algorithmus arbeitet in den Fallen, wenn 
weder (a) noch (b) gegeben ist und nur (c) ein Flufi 
definiert werden kann. Selbst wenn keine weitere In- 
formation vorliegt, arbeitet das er f indungsgemafie Ver- 

10 fahren zuverlassig, indem (d) das entmischte Signal 

zur Berechnung von Kovarianzmatrizen verwendet wird. 

- Der On-line-Algorithmus ist auch fiir Regression und 
Klassif ikation einfach anwendbar. 

- Das Verfahren ist in Hardware einfach und kostengiin- 
15 stig realisierbar . 

Andere vorteilhafte Weiterbildungen der Erfindung sind in 
den Unteranspriichen gekennzeichnet bzw. werden nachstehend 
zusammen mit der Beschreibung der bevorzugten Ausfuhrung 
der Erfindung anhand der Figur naher dargestellt. Es zei- 
20 gen: 

Figur 1 ein Ausf iihrungsbeispiel einer Vorrichtung zur 
Durchftihrung des Verfahrens in Blockschaltung, 

Figur la ein Detail der in Figur 1 dargestellten Vorrich- 
tung, 

25 Figuren 2 und 3 Signaldarstellungen zu dem in den Figuren 1 
und la dargestellten Ausf uhrungsbeispiel , 
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Figuren 4 bis lO^weitere Signaldarstellungen zu dem erfin- 
dungsgemalien Verfahren. 

Im folgenden werden zunachst die technischen Einzelheiten 
des erf indungsgemafien Verfahrens erlautert: 

5 Ausgegangen wird von einer Reihe von unabhangigen Beispie- 
len in Form von Signalwerten ,jv,),(x2,>'2) / • • • Eingangs- 
groBen. Ziel des Lernprozesses ist es dabei, eine Schatzung 
fur den Parameter w zu erhalten, welche die in den Daten 
inharente Regel moglichst gut simulieren kann. Daher modi- 
10 fiziert das Verfahren seinen Parameter zur Zeit t in 

w^^^ , indem nur das nachste von der Statistik gegebene Bei- 
spiel {x^^^.y^^^) verwandt wird. 

Dazu wird eine dif f erenzierbare Fehler f unkt ion /(x,j^;>v) ver- 
wendet, die die Performanz des Schatzers mit Parameter w 
15 bewertet. Die Grofie 

R{w)^{l{x,y^^^)) (5) 

ist der "expected loss" Oder der Generalisierungsf ehler des 
Schatzers, das durch den Parameter w definiert ist und ( ) 
beschreibt die Mitteilung uber die Verteilung der Beispiele 
20 (^jj^) • Der Parameter w* des besten Schatzers ist gegeben 
durch 

w* = arg min R{y^\ ( 5 ) 

Es wird der folgende stochastische Gradiente.nabstieg 
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benutzt, wobei T/t die Lernrate ist, die auch von der Zeit t 
abhangig sein kann und ^(h',) eine positiv-def inite Matrix 
ist, die auch von iv, abhangen kann. Die Matrix C spielt 
5 die Rolle eines Riemannschen metrischen Tensors im Raum der 

Wenn 7t gleich einer kleinen Konstante ist, dann konver- 
giert nach und die Varianz Var[wJ nahert sich ei- 

ner nicht verschwindenden Matrix der Ordnung Oirf) . Das 
10 heiftt, fluktuiert um . Wenn r]t=c/t (abgekuhlte Lernra- 

te} , dann konvergiert lokal nach . Wenn sich wie oben 

beschrieben die Lernregel andert, dann kann die wie rjt^c/t 
gewahlte Lernrate jedoch dem Wechsel der Lernregel nicht 
folgen, da rjt^c/t zu klein wird und in der Praxis die ver- 
15 anderte optimale Losung nicht mehr erreichen kann. 

Die Idee einer adaptiven Lernrate rjt wurde "learning of the 
learning rule" genannt (Sompolinsky et al . 1995). Dieses 
Konzept wird bei dem erf indungsgemafien Verfahren auf belie- 
bige dif f erenzierbare Fehlerf unktionen verallgemeinert . Da- 
20 zu wird folgender Algorithmus zugrundegelegt : 



(9) 
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wobei a und P Konstanten sind, ^(^,) ist die Hessematrix 

des Erwartungswertes der Fehlerf unktion R{w^)/ ^^3^ und R 

ist ein Schatzer von ^(^*) • Wenn der Fehler explizit als 

Funktion von x und y gegeben ist, kann R rekursiv als 
5 Schatzwert angenommen werden durch 

Intuitiv wird damit die Lernrate rj aus Gl.(9) durch den 
verbleibenden Fehler kontrolliert . Wenn der Fehler groB 
ist, dann nimmt t] einen grofien Wert an. Wenn er klein ist, 
10 d.h. der geschatzte Parameter nahe beim Optimum ist, dann 
geht Tj automatisch gegen 0. 

Urn das dynamische Verhalten von (h'^,^,) zu erhalten, wird 
eine kontinuierliche Version der obigen Gleichungen be- 
nutzt, uber die bezuglich des Input-output-Paares {x,,y^) ge- 
15 mittelt wurde 

|:w,=-7,A:(>v,)-'^£/(x,3.;w,)y (11) 

1^77, =ar^,[fi{l{x,y■,^^>,)-R)-r^,). (12) 
Es gilt {d{x,y;w'^l d^^ = 0, und so ergibt sich asymptotisch 
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wobei K* = o^r(w'^/ . Unter der Annahme, dali r(^w*^-R klein 
ist und K{w^) = K\ wird erhalten 

^w, -w*) (13) 

5 -^77, =a7,(^|(M^, ~'w'yK*[w, -w")-7,j (14) 

Es wird eine quadratische Fehlergrofle eingefuhrt 

=^(w^ -w*), (15) 

wobei sich aus Gl.(13) und Gl,(14) ergibt 

^-2T],e, 7, ^afirj^e, -aril". (15) 

10 Das Verhalten des Algorithmus als Gleichungssystem (15) 
lalit sich wie folgt deuten: Der Ursprung (0,0) ist ein At- 
traktor seiner Dynamik und das Attraktionsbassin hat eine 
fraktale Grenze. Wird von einem adaquaten Anfangswert ge- 
startet, hat das Gleichungssystem die Form 

(a>2). und ,.=i.i. (17, 

Hierbei ergeben sich als bedeutsame Vorteile: 



Die 1/t Konvergenzrate des Verallgemeinerungsf ehlers 
at ist die optimale (schnellstmogliche) Ordnung der 
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Konvergenz jedes beliebigen Schatzers , der zum Op- 
timum w* konvergiert. 

- Gl.(13) und (14) geben einen allgemeinen On-line- 
Algorithmus der schnellstmoglichen Konvergenzrate . 

5 - Die Losung beruht darauf, den skalaren Abstand et im 

Gewichtsraum zu verwenden. 

- Damit der obige Algorithmus f unktionieren kann, miis- 
sen die Grofien K^" ^ 1 verfugbar sein. 

Insbesondere der letzte Punkt ist in der Praxis oft nicht 
10 erfullt, so daft der gefundene Algorithmus weiter verallge- 
meinert werden mufi , 

Vielfach sind in der Praxis sind weder die Hessematrix K* 
noch der Erwartungswert des Fehlers noch das Minimum des 
Erwartungswerts des Fehlers bekannt. Weiterhin gibt es in 
15 einigen Anwendungen (z.B. Quellentrennung) noch nicht ein- 
mal eine explizite Fehlerf unktion . Ein verallgemeinerter 
Lernalgorithmus ist daher der Folgende 

^r.i (18) 

wobei der Fluft f die Modif ikation der Parameter bestimmt, 
20 wenn ein neues Beispiel {p^t+\^yt^\) gegeben ist. Hierbei mufi 
nicht die Existenz einer Fehlerf unktion angenommen werden, 
sondern es wird nur ein gemittelter Flufi benotigt, der am 
Optimum verschwindet , i*e, 

{f[x,r,w')) = o 
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Fur den Fall, dafi eine Fehlerf unktion gegeben ist, kann der 
Gradient der Fehlerf unktion als Fluft eingesetzt werden. Es 
wird nun die gemittelte, kontinuierliche Version von Glei- 
chung (18) benutzt und urn das Optimum 

5 ^ " ~ )> - - ^' ( - ) (19) 

entwickelt, wobei K* ^(^^[x,y\w*^l ist. Unter der Voraus- 
setzung, dafi ein Vektor v rait der Eigenschaft 

v^K*=-Xv'' (20) 

und weiterhin 

10 = (v H', )) - v'^K^w^ - ) (21) 

definiert ist, kann die Dynamik der 4 

=-/l7,^,, (22) 

approximiert werden. Mit den Variablen q wird eine Modifi- 
kation der Lernregel fiir r\ wie folgt festgelegt 

15 7,.i=^r+«'7,M^,|-70^ . <23) 

mit einer kontinuierlichen Version als 

±r^^^a7^,[0^4\-r^^ (24) 

4 laftt sich dabei als eine eindimensionale Pseudodistanz 
verstehen, bei der der mittlere Fluli f auf eine einzelne 
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Richtung v projiziert wird. Es wurde nun eine "intelligente 
Projektion" so gefunden, bei der es hinreichend ist, alle 
Dynamik des Flusses entlang dieser Richtung zu beobachten. 
Die Variable ^ ist entweder immer positiv oder immer nega- 
5 tiv, abhangig davon, welcher Anfangswert gewahlt wird; r[ 
ist positiv. Die beiden Gleichungen (22) und 24) sind damit 
aquivalent zum Gleichungssystem (16) . Somit sind ihre asym- 
ptotischen Losungen gegeben als 



10 Wiederum ahnlich wie im letzten Abschnitt wurde gezeigt, 
daft der Algorithmus konvergiert, jedoch diesmal ohne eine 
explizite Fehlerf unktion oder eine Hessematrix zu benutzen. 

In diesem Algorithmus ist ein wichtiges Problem, eine ge- 
eignete Projektion zu finden. Dafiir. wird von folgenden An- 

15 nahmen ausgegangen: (1) der minimale Eigenwert der Matrix 
K* ist geniigend viel kleiner als der zweitgrolite Eigenwert 
und (2) daher wird sich der Parametervektor u', nach einer 
grolien. Anzahl Iterationen von der Richtung des minimalen 
Eigenvektors von K* dem Optimum nahern. Unter diesen Bedin- 

20 gungen kann die Entwicklung des geschatzten Parameters als 
eindimensionaler Prozess verstanden werden und es konnen 
beliebige Vektoren als v verwendet werden, aufier den zum 
minimalen" Eigenvektor orthogonalen Vektoren. Der beste und 
ef f izienteste Vektor wird naturlich der minimale Eigenvek- 

25 tor selbst sein, der (fur eine grolie Anzahl von Iteratio- 
nen) durch 





1 1 



(25) 



v=(/)/ii(/)| 
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approximiert werden kann. Daher konnen wir 

^ = ||(/)ll (26) 

einsetzen, Ersetzt man nun den instantanen Mittelwert des 
Flusses durch einen gleitenden (leaky) Mittelwert, dann er- 
5 halt man folgenden modif izierten Algorithmus 

^/^i -7;/(^,^P>^,.i;^r)' (27) 

^,.i=0-^h+^(^,.i.>^..i;>^,)> (0<^<1) (28) 

wobei 5 den Grad des gleitenden (leaky) Mittelwertes kon- 
10 trolliert und r als Hilf svariable verwandt wird, um den 
gleitenden (leaky) Mittelwert des Flusses zu berechnen. 
Dieser Satz Lernregeln konvergiert auch asymptotisch und 
ist sehr einfach zu berechnen. Weiterhin induziert der 
gleitende (leaky) Mittelwert Fluktuationen, die sich. in 
15 praktischen Anwendungen als sehr hilfreich erweisen. 

In den Fallen, in denen auch kein Flufi angenommen werden 
soil, arbeitet der On-line Algorithmus ebenfalls, indem das 
entmischte Signal zur Berechnung von Kovarianzmatrizen her- 
angezogen wird. 

20 Die zeitversetzte Kovarianzmatrix eines stationaren, zeit- 
diskreten stochastischen P.rozesses ist definiert durch den 
Erwartungswert des aueren Produktes der Datenmatrix mit 
sich selbst. 



(30) 
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Die Zeitversetzung x kann dabei auch den Wert Null anneh- 
men. Auf der Diagonalen der Kovarianzmatrix stehen die Wer- 
te der Autokorrelationsf unktion zum Zeitpunkt t. Die Neben- 
diagonalelemente bilden die Werte der Kreuzkorrelations- 
5 f unktion der jeweiligen Signale zum Zeitpunkt t. Daraus 
folgt eine wichtige Eigentschaf t ' der Kovarianzmatrix, sie 
ist eine symmetrische Matrix. 

Im Fall eines nichtstationaren Prozesses kann die Kovari- 
anzmatrix adaptiv online geschatzt werden 

10 KUx) = (il-^)K{x) + ^x,^,xl^, (31) 

7,;,=7;+«7;(/^K.,||-'7;) • (32) 

Nun kann der von Schuster und Molgedey (1994) vorgeschlage- 
ne Ansatz, das Quellentrennungsproblem mittles simultaner 
Diagonalisierung zweier oder mehrerer ( zeitverschobener ) 
15 Kovarianzmatrizen zu losen, zu einem einfachen und effizi- 
enten online Verfahren erweitert werden. 

Dazu wird die nach Gleichung (31) und (32) bestimmte Folge 
von Kovarianzmatrizen mit einem online Verfahren simultan 
diagonalisiert : (1) In einem online whitening Schritt und 

20 (2) in einer online Berechnung einer orthogonalen Transof- 
mation durch die adaptive (online) Losung eines Eigenwert- 
problems (zum Beispiel mit Sanger's Rule (T.D. Sanger, in 
Neural Networks, Bd. 2, S. 459 (1989)), oder mit einem an- 
deren numerischen adaptiven Eigenwertlosungsverf ahren) ge- 

25 mali 

W,.^=W,-rj;^(W,K:i,W,'^-\) (33) 
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K.^ + rj::,[C,:,V,-V,-triu(VX..K)] (35) 
^ - V W (36) 

Dabei ist triu eine Operation, die die obere Dreiecksmatrix 
5 auswahlt, und die Elemente unterhalb der Diagonalen zu Null 
set zt • 

Zusammenf assen besteht die letztgenannte Variante daraus 

1. adaptiv die Kovarianzmatrix . und mindestens eine zeitver- 
schobene Kovarianzmatrix zu schatzen, 

10 2. die mindestens zwei Kovarianzmatrizen simultan zu diago- 
nalisieren, so dafJ eine Entmischungsmatrix gewonnen 
wird, die die Signalquellen trennt. 

Die Anwendung als Verfahren soil nachfolgend anhand des in 
Figur 1 wiedergegebenen Blockschaltbilds naher erlautert 
15 werden. Hierbei soil die folgende beispielhaf te Illustrati- 
on eines Ausf uhrungsbeispiels dieser Losung in der akusti- 
schen Quellentrennung zugrunde gelegt werden: 

Zwei Sprecher bewegen sich im Raum und unterhalten sich da- 
bei. Uber zwei Mikrofone werden ihre ( instationar ) gemisch- 

20 ten Sprachsignale aufgenommen. Diese werden der nachfolgend 
dargestellten Verarbeitungseinheit zugefiihrt. Trotz der 
standigen veranderten Mischung, gelingt es, die akustischen 
Einzelsprechersignale aus der Mischung herauszuf iltern , Am 
Ausgang erscheinen die getrennten Sprachsignale der Ein- 

25 zelsprecher als entmischte Signale. 
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(Andere Anwendungen - insbesondere aus dem Medizinbereich 
(EEG, MEG) - warden waiter unten erlautert. 

Eine Vorrichtung zur Durchfuhrung des erf indungsgemalien 
Verfahrens beruht dabei auf einem System, welches einen Lo- 
5 sungsalgorithmus fur die angeget^enen Gleichungen beinhal- 
tet. Die Realisierung der konkreten Schaltung kann in pa- 
ralleler, serieller oder auch gemischt parallel/serieller 
Anordnung erfolgen. Die Elements der Hardware sind als 
arithmetische Baugruppen zur Ausfuhrung der genannten Algo- 

10 rithmen aufgebaut* Es handelt sich dabei um die Gleichun- 
gen (27) bis (29) sowie (8) bis (10), und (31) bis (36). 
Dazu lassen sich entweder komplette Prozessoren mit den 
entsprechenden, in Speichern f estgehaltenen Programmen ver- 
wenden oder aber spezielle Hardwarekomponenten, welche Ad- 

15 dierer, Multiplizierer und ein Modul zur Inversion der Ma- 
trix aufweisen. Weiterhin muli eine Vorrichtung zur 
Berechnung der Norm des Flusses vorgesehen sein. 

Die Funktionsweise ist dabei wie f olgt : 

Die "learning of learning" Idee von Sompolinski et al. 1995 
20 wird funktionell fur den allgemeinen Fall erweitert, daft 
(a) eine kontinuierliche Fehlerf unktion und/oder (b) die 
Hessematrix gegeben ist oder weder (a) noch (b) gegeben ist 
und nur (c) ein Fluft definiert werden kann, oder (d) Kova- 
rianzmatrizen berechnet werden. 

25 Hierfur sind folgende Bedingungen mafigeblich: 

i. Sind (a) kontinuierliche Fehlerf unktion und (b) die 
Hessematrix gegeben, so werden die Gleichungen (8) 
bis (10) verwendet. 
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ii. 1st nur eine kontinuierliche Fehlerf unktion ohne Hes- 
sematrix gegeben, so werden die Gleichungen (27) bis 
(29) verwendet, wobei der Gradient der Fehlerf unktion 

als FluR dient und ^ = ||(/)|| , 
5 iii. 1st nur (c) ein Flufi definiert, so wird Gleichungen 



iv. 1st auch kein Fluli definiert, so werden die Gleichun- 
gen (31) bis (36) verwendet. 

Der Flufi kann dabei beliebig, entsprechend den Ansatzen von 
10 Bell et al. (1995), Jutten et al. (1991), Molgedey & Schu- 
ster 1994 Oder beliebigen anderen Quellentrennungsalgorith- 
men gewahlt werden. 

Dabei bildet die Projektion auf (^ = ||(/)|| ein sehr wichtiges 




Element des erf indungsgemaflen Verfahrens, Fur die genannten 
15 Falle kann damit bewiesen werden, daih das erf indungsgemafie 
Verfahren ein optimales Konvergenzverhalten zeigt. 

Bei dem in Figur 1 dargestellten Ausf uhrungsbeispiel wird 
von einem Mischsignal 1 ausgegangen. Dieses Signal enthalt 
die Signale einzelner Signalquellen gegebenenf alls mit ei- 
20 nem nicht zu trennenden Hintergrundsignal . Aus diesem Si- 
gnal werden -mittels zweier Mikrofone Signalanteile als Bei- 
spielsignale 1.1 und 1.2 entnommen- Die Moglichkeit der 
Entnahme weiterer Signale ist durch gestrichelte Linien an- 
gedeutet. 

25 Die Signale 1.1 und 1.2 (und gegebenenf alls weitere) werden 
einer Entmischungsstuf e 2 zugefiihrt, in der die Signaltren- 
nung nach einem bekannten Algorithmus erfolgt. Die Entmi- 



(27) bis (29) verwendet und 
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schungsstufe enthalt bei der bevorzugten Ausfuhrung eine 
Schaltmatrix, mittels der einzelne Eingange zeitweise mit 
einzelnen Ausgangen unter entsprechender Gewichtung verbun- 
den warden konnen. Dies kann auch mit multiplikativer oder 
5 additiver Oberlagerung erfolgen. In Betracht kommt auch ei- 
ne reine Schaltmatrix bei der die Signalintensitaten am 
Ausgang durch Modulation der Impulsdauer und entsprechende 
Integration erzeugt wird. Die Ansteuerung der (in der 
Zeichnung nicht naher dargestellten) Schaltmatrix erfolgt 
10 mit entsprechenden Steuersignalen, die vom Ausgang eines 
spater zu beschreibenden entsprechenden Steuerbaustein aus- 
gehen . 

Die getrennten Ausgangssignale 3.1 und 3.2 bilden ent- 
mischte Signale und stellen im dargestellten Beispielsf all 
15 die akustischen Signale der einzelnen Klangquellen dar. 
Konkret sind dies hier die Sprachsignale der beiden Spre- 
cher. 

Die Beispielsignale 1.1 und 1 . 2 aus dem Mischsignal und die 
entmischten Signalen 3.1 und 3.2, sowie die im vorherigen 

20 Durchgang in einer dritten Baugruppe 7 ermittelte Lernrate 
werden einer ersten Baugruppe zur Bewertung des entmischten 
Signals 4 zugefuhrt. In der ersten Baugruppe 4 werden in 
Abhangigkeit von einem aus einem Entscheidungs-Modul 5 ab~ 
geleiteten Signal entweder die Algorithmen (10) oder (28), 

25 Oder (31) angewendet. 

Eine Fallunterscheidung beziiglich der Anwendung der ver- 
schiedenen Algorithmen wird in dem Entscheidungsmodul 5 ge- 
troffen, in der durch UND-Gatter die nachfolgend beschrie- 
benen Ipgischen Signalverkniipf ungen realisiert sind: 
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i. Sind (a) kontinuierliche Fehlerf unkt ion und (b) die 
Hessematrix gegeben, so wird ein Steuersignal ausge- 
geben, daU die Verwendung der Gleichungen (8) bis 
(10) veranlaftt. 

5 ii. 1st nur die kontinuierliche Fehlerf unktion ohne Hes- 
sematrix gegeben, so wird ein Steuersignal ausgege- 
ben, daft die Verwendung der Gleichungen (27) bis (29) 
veranlalit, wobei der Gradient der Fehlerf unkt ion als 

FluB dient und ^ = ||(/)|| gilt. 

10 iii. 1st nur (c) ein Flufi definiert, so wird ein Steuersi- 
gnal ausgegeben, daft die Verwendung der Gleichungen 
(27). bis (29) veranlaftt. 

iv. 1st (d) weder eine kontinuierliche Fehlerf unktion 
noch ein Fluft definiert, so wird ein Steuersignal 
15 ausgegeben, daft die Verwendung der Gleichungen (31) 

bis (36) veranlaftt, und Kovarianzmatrizen werden zur 
Bewertung des entmischten Signals verwendet. 

In Figur la sind Details des Ent scheidungs-Moduls 5 wieder- 
gegeben. In den Blocken 5.1 bis 5.3 und 5.6 werden dabei 

20 jeweils die Eingangsbedingungen (a) bis (d) entsprechend 
der vorangehenden Aufstellung ermittelt. In der Stufe 5.4 
erfolgen die logischen Entscheidungen entsprechend dem vor- 
stehenden Schema, Die. dabei notwendigen Negationen ergeben 
sich liber die entsprechenden invertierenden Eingange der 

25 dargestellten UND-Gatter. In der Stufe 5.5 werden die Aus- 
gangssignale der Stufe 5.4 zu einem einzigen Signal zusam- 
mengefaftt, dessen Wert bestimmt, welcher der oben genannten 
Falle (i) bis (iv) vorliegt. 
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Das Ergebnis der . Bewertung des entmischten Signals sowie 
das Steuersignal gelangt dann an eine zweite Baugruppe 6, 
in der die Adaptation der Schaltmatrix erfolgt. Je nach 
Steuersignal werden in der Baugruppe 6 die Gleichungen (8), 
5 Oder (27), Oder (33) bis (36) angewandt- 

Diese Baugruppe steht in Wechselwirkung mit der dritten 
Baugruppe fiir die Lernratensteuerung 7. Es ist ersichtlich, 
dafi mit den Algorithmen des erf indungsgemaBen Verfahrens 
sich die Lernrate, d.h. die Anderung des die Entmischungs- 
10 stufe iiber einen Steuerbaustein 8 beeinf lussenden Algorith- 
mus entsprechend der aktuellen Anderung der Lernrate des 
Systems anpafit. Der Steuerbaustein 8 enthalt die zur An- 
steuerung der Entmischungsstuf e notwendigen elektrischen 
Bauelemente . 

15 Die Lernrate wird also ebenfalls vom adaptiven Algorithmus 
geregelt, und zwar, abhangig von dem im Entscheidungsmodul 
5 erzeugten Steuersignal, nach den Algorithmen (9) oder 
(27) Oder (32). Damit kann das System Anderungen der Quel- 
len sowohl in ihrer Intensitat als auch bezuglich der Ande- 

20 rung der Intensitat und anderer Signaleigenschaf ten optimal 
schnell folgen. Verlauft der Prozefi stationar, "kuhlt sich 
die Lernrate ab". 

Als Ergebnis der Beispielanwendung im Bereich akustischer 
Quellentrennung nichtstationarer Mischungen wurden die 
25 nachfolgend beschriebenen weiteren Ergebnisse erhalten. 

Als Beispiel wurden zwei Audiosignale bestehend aus Sprache 
und Musik (mit einer Samplingrate von 8 kHz) verwendet: 



Als Signal 1 wurde der bekannte Zungenbrecher "Fischers 



Fischers Fritz 




und "Donauwalzer" (siehe Fig, 2) . 
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Fritz fischt frische Fische ..." aufgenommen, wahrend Si- 
gnal 2 ein Teil des "Donauwalzer " von J. StrauB ist. Beide 
akustische Quellen warden auf dem Computer gemischt ent- 
sprechend 

5 l^{l + A)s, f. 05</<2,5^ und 6,25^<r<105 (30) 

7, + /. 2,55</<6,25 (31) 
gemischt mittels 

( 0 0,9^ ( 0 0,8^ 

A^\ und B = 

als Mischungsmatrizen . Das heilJt, die den Daten unterlie- 
10 gende Statistik schaltet zweimal in diesem Datensatz. Das 

Ziel ist nun, die Quellen J, zu erhalten, indem A und B 
zunachst geschatzt werden. Dazu stehen nur die gemessenen 
Mischsignale 7, zur Verfiigung - alles andere ist unbekannt. 
Daher wird dieses Problem auch oft "blinde Quellentrennung" 
15 genannt . Eine Anderung der Mischung findet man oft in der 
Praxis, wenn beispielsweise ein Sprecher seinen Kopf wah- 
rend des Sprechens bewegt oder seine Position wechselt. 

Der erf indungsgemaBe adaptive On-line-Algorithmus ist be- 
sonders ftir dieses instationare Szenario geeignet, da seine 
20 Adaptionsschnelligkeit nicht durch die bereits oben disku- 
tierten generischen Nachteile einer konstanten Lernrate li- 
mitiert ist - wie in den Ansatzen von Bell et al, 1995, 
Jutten et al. 1991, Molgedey & Schuster 1994. Es sei der 
Vektor des entmischten Signals 
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w, -(l + 7;)"7, (32) 

wobei T die geschatzte Mischungsmatrix ist. Basierend auf 
dem Algorithmus von Molgedey & Schuster 1994 wird als Lern- 
regel fiir Tt 

5 m;^ <^f[{i!ui),{uiui),{iiuu\^^^^^ 

cc{l/u^){uiul) + {jfui_,){ului,), /,y = l,2, i^J, (33) 

benutzt, wobei die instantanen Mittelwerte durch die oben 
definierten gleitenden (leaky) Mittelwerte ersetzt werden. 

10 Hier ist zu bemerken, dali die notwendigen Bestandteile des 
Flusses f aus Gleichungen (27) bis (28) fiir diesen Fall 
einfach die gleichzeitigen oder zeitversetzten Korrelatio- 
nen sind und r]t gemaJi Gleichung (29) berechnet wird. 

Fig. 3 zeigt das Resultat der Simulation (Details der Para- 
15 meterwahl sind in der Bildunterschrif t erklart) . Nach einer 
kurzen Zeit (t = 0,4 s) von groiier Lernrate tj und starken 
Fluktuationen in 7 wurde die Mischungsmatrix korrekt ge- 
schatzt. Bis t = 2,5 s wird die Lernrate automatisch ent- 
sprechend 1/t (siehe untere Darstellung in Fig. 3) 
20 "abgekiihlt", wie auch in Gl.(25) vorhergesagt , d.h. es wird 
auch im Experiment die optimale "Abkuhlrate" gefunden. Am 
Schaltpunkt, an dem simples "Abkuhlen" versagt hatte, ver- 
groliert der erf indungsgemafte adaptive Algorithmus, wie. ge- 
wunscht, die Lernrate drastisch und ist damit auch in der 
25 Lage, den durch das Schalten veranderten Mischungen inner- 
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halb von 0,1 s (bzw. 0,2 s beim zweiten Schalten) zu fol- 
gen. Danach wird die Lernrate, wie gewunscht, wiederum 
"abgekuhlt" . 

Vergleicht man Misch-, Original- und entmischtes Signal in 
5 Fig. 2, dann bestatigt sich die schnelle und genaue Schat- 
zung, die bereits fiir die Mischungsmatrix beobachtet werden 
konnte. Auch ein Anhoren bestatigt die Effizienz des Ver- 
fahrens, fur Sekundenbruchteile sind beide Signale horbar, 
danach nur noch das entmischte Signal. Nach dem Schalten 

10 sind wiederum einen kurzen Moment lang beide Signale hor- 
bar. Der Entmischungsprozess geht dabei so schnell vor 
sich, dali der Horer das Gefiihl hat, ein Signal wurde ein- 
fach vom Quellentrennungsalgorithmus "ausgeschaltet " . Er- 
folgt eine Adaption in der Grofienordnung von 0,1 s, dann 

15 wird dies als Knacken empfunden. Der Rauschabstand im ent- 
mischten Signal betragt fiir das Musiksignal 36 dB und fur 
das Sprachsignal 28 dB. 

Das Verfahren wurde naturlich auch fur andere Ins tat ionairi- 
taten sowohl theoretisch als auch experimentell untersucht. 

20 Die weiteren Figuren 6 bis 8 zeigen das Ergebnis weiterer 
Versuche, bei denen ein kontinuierlicher Obergang und einen 
weiterer Schaltilbergang untersucht wurden. 

Fur das er f indungsgemafie Verfahren kann die theoretische 
Zeit, die der Algorithmus braucht, um einer Anderung zu 
25 folgen, berechnet werden, so dali eine gute Anpassung an die 
praktischen Voraussetzungen erfolgen kann. 

Zusammenf assend ergibt sich damit ein exzellentes Adapti- 
onsverhalten des Algorithmus, das sich in vielen weiteren, 
hier nicht beschriebenen, Experimenten reproduzieren lieB. 



wo 98/25214 



PCT/DE97/02902 



- 29 - 

Das Verfahren wurde im Experiment bereits erfolgreich zur 
Trennung von akustischen Signalen angewandt fur 

- die Trennung mehrerer Sprecher, 

- die Trennung von Sprache und Musik, 

5 - die Trennung von Sprache und Hintergrundgerausch. 

Anwendungen des Verfahrens sind fur Horgerate gunstig, wel- 
che damit die dynamische Anderungen der akustischen Misch- 
verhaltnisse verfolgen konnen und in Echtzeit durch geeig- 
nete Hardware das Horsignal als Auswahl einzelner Quellen 
10 verstarken. 

Weiterhin ist das Verfahren fur Anwendungen im Verkehrsmit- 
tel- (Automobil-) bereich besonders geeignet . Durch eine On- 
line-Trennung von Sprache und Hintergrundgerausch kann der 
Storpegel bei einem Telefonat reduziert werden. Bei sprach- 

15 gesteuerten Eingaben im Automobil kann die Fehlerrate in 
der Erkennungsleistung durch Reduzierung des Hintergrundge- 
rauschpegels herabgesetzt werden . Anwendungsmoglichkeiten 
bestehen weiterhin auf alien Gebieten der Nachrichtentech- 
nik, bei denen einzelne Signalquellen voneinander oder von 

20 einem Hintergrundsignal getrennt werden sollen. 

Auiierhalb der akustischen Quellentrennung ergeben sich An- 
wendungen vor allem in der Medizintechnik. Bei der Aufnahme 
von Multielektroden EEGs (Elektroenzephalogrammen) oder 
MEGs (Magnetenzophalogrammen) sind die gemessenen Signale 
25 stets instationare Uberlagerungen von Gehirnaktivitat . Man 
kann sich vorstellen, dafi sich verteilte neuronals Aktivi- 
taten- uberlagern und nur so von EEG oder MEG-Geraten ge- 
messen werden konnen. Da neuronale Aktivitaten hochgradig 



8NSDOCIp-<WO 9R'>=io-^ft--, 



wo 98/25214 



PCT/DE97/02902 



- 30 - 



instationar sind, konnen bisherige auf stationare Quellen- 
trennung gestutze Verfahren wie das von Makeig et al. 1996, 
die instationaren Daten niemals korrekt erklaren. Hier be- 
steht ein grofies Anwendungspotential der erf indungsgemalien 
5 Losung, da das vorgestellte Verfahren Anderungen der Signa- 
le und der Signalorte luit optimaler Schnelligkeit verfolgen 
kann. Es ware denkbar, neuronale Aktivitatsmuster des Ge- 
hirns On-line-und in Echtzeit verfolgen und bestimmen zu 
konnen . 

10 In modernen nichtinvasiven Untersuchungsver f ahren der Hirn- 
aktivitat werden beispielsweise SQUID-Magnetometer einge- 
setzt. Dies sind hochempf indliche Sensoren fiir magnetische 
Felder. Damit ist es moglich, die sehr schwachen Magnetf el- 
der (Feldstarken im Femtotesla Bereich) , die von den elek- 

15 trischen lonenstromen der aktivierten Nervenzellen erzeugt 
werden, nachzuweisen . Da das Magnetfeld der Erde um einiges 
starker ist, befinden sich die Sensoren in einem magnetisch 
abgeschirmten Raum. Dennoch kann es zur Beeintrachtigung 
der Messungen durch korpereigene biomagnetische Storquellen 

20 kommen. So verursachen z. B. die Augenbewegungen (EOG) Ver- 
falschungen der Messungen von evozierten Feldern im visuel- 
len Cortex. Herzschlag (EKG) und Muskeltatigkeit (EMG) 
sind die Hauptstorquellen bei Messungen am peripheren Ner- 
vensystem. 

25 Der Einsatz der adaptiven Quellentrennung ermoglicht es so- 
wohl stationare als auch instationare Storer von Augenbewe- 
gungen (EOG), Herzschlag (EKG) und Muskeltatigkeit (EMG) - 
also physiologische Storsignale - und ebenso technische 
Storsignale aus der Experimentieranordnung (z. B. Stimu- 

30 lusimpulse bei f unktionellen Reizreaktionsexperimenten) 
prazise zu identif izieren und zu eliminieren. 
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Als Ergebnis einer Anwendung im Bereich magnetische Quel- 
lentrennung wurden die nachfolgend beschriebenen Ergebnisse 
erhalten. Figur 9 zeigt einige SQUID Auf nahmesignale . Das 
gesuchte magnetische Signal, das von aktivierten Nervenzel- 
5 len ausgeht, ist von den oben beschriebenen Storquellen 
iiberlagert, die um Groftenordnungen starker sind. Das Stor- 
signal vom Herzen ist auf der Figur gut zu erkennen. 

Eine Quellentrennung nach Methode (d) ermoglichte bei- 
spielsweise die Extraktion der Storsignale, die von (a) 
10 Herz, (b) Stimulus und (c) Netzbrumm (inklusive (d) Harmo- 
nischer) herriihren, wie in Figur 10 gezeigt. Durch Subtrak- 
tion dieser Storsignale von der Originalmessung wird das 
gesuchte Signal erhalten. 

In medizinischen Untersuchungen, beispielsweise in 
15 Schlaf laboratorien, stehen verschiedene Signaltypen zur 
Verfugung (z.B. EEG, EKG, Atmung, EOG, Blutdruck usw. ) Die- 
se Signale sind instationare Uberlagerungen verschiedener. 
unterliegender wahrer Signale, die man nicht kennt . Bisher 
wurde .in der Datenanalyse ausschlieBlich von einem Statio- 
20 naritatsparadigma ausgegangen. Es ist nun moglich, die In- 
stat ionaritaten zu beriicksichtigen . 

Eine weitere Anwendung besteht in der Tele-Ident if ikation 
(Multiob jektidentif ikation) Das System besteht aus einer 
fest montierten Basisstation und zahlreichen mobilen Mini- 

25 sendern. Die Basisstation sendet permanent eine elektroma- 
gnetische Welle z.B. der Frequenz 120 Hz. Kommt nun einer 
der Minisender so nah an die Basisstation heran, dafi die 
Energie ausreicht, den Minisender in Betrieb zu setzen, 
sendet dieser den auf (s) einem Speicherchip befindlichen 

30 Code. Dieses Codesignal wird von der Basisstation empfangen 
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und decodiert. Der empfangene Code kann jetzt beispielswei- 
se dazu benutzt werden, den Minisender (und damit das Ob- 
jekt) zu identif izieren und weitere Inf ormationen aus einer 
Datenbank abzuruf en . 

5 Der Einsatz von Verfahren zur Quellentrennung wird insbe- 
sondere dann notig, wenn sich mehrere Sender gleichzeitig 
im Bereich einer Basisstation befinden und sich die Signale 
iiberlagern.- In der Praxis kommt dabei meist erschwerend 
hinzu, dafi sich die Sender bewegen und so die Mischung der 
10 Signale nicht stationar ist. Fur dieses Problem bietet der 
erf indungsgemafie Algorithmus zur adaptiven Quellentrennung 
die geeignete Losung. 

Das erf indungsgemafie Verfahren beschrankt sich in seiner 
Anwendung nicht auf die vorstehend angegebenen bevorzugten 

15 Ausf uhrungsbeispiele . Es kann auf alle Arten von Signalen 
angewendet werden, welche sich in einer charakteristischen, 
fur das Verfahren erkennbaren Weise - von anderen 
(Hintergrund- ) Signalen unterscheiden • Dabei besteht ke.ine 
Einschrankung in der Auswahl der Signale. So konnen bei- 

20 spielsweise auch Personen- oder Wirtschaf tsdaten verwendet 
werden, Dabei ist eine Anzahl von Varianten gunstig, welche 
von der dargestellten Losung auch bei grundsatzlich anders 
gearteten Ausfuhrungen Gebrauch macht. 
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Anspriiche 

1. Verfahren zur nichtstationaren Trennung von Signalen 
unterschiedlicher Quellen Oder Trennung mindestens eines 
Signals von einem Signalhintergrund, mit einer Entmi- 
schungsstuf e, die eine Schaltmatrix aufweist, die eine An- 
5 zahl von Mischungssignalanteilen aufweisenden Signaleingan- 
gen unterschiedlichen Ausgangen uber Bewertungselemente je- 
weils additiv oder multiplikativ iiber einen adaptiven Algo- 
rithmus steuerbar zuordnet, wobei der adaptive Algorithmus 
unter Nutzung einer variablen Lernrate veranderbar ange- 
10 steuert wird, 

dadurch geketinzeichnet, 

dafi die Lernrate kontinuerlich unter Einschlufl eines Algo- 
rithmus angepafit wird, welcher die Schritte 

i) Ermittlung einer. dif f erenzierbaren Funktion oder min- 
is destens zweier Matrizen aus dem Signal, dem getrennten Si- 
gnal und der Lernrate, die das getrennte Signal bewertet 
bzw. bewerten, 

ii) Adaptation der Schaltmatrix auf der Basis des Er- 
gebnisses von (i) sowie der Lernrate, 

20 iii) Adaptation der Lernrate auf der Basis der Ergeb- 

nisse von (i) und (ii) , 

umf afit , 

wobei die Abfolge der Schritte (ii) und (iii) auch umge- 
kehrt sein kann, so dali (ii) auf der Basis der Ergebnisse 
25 von (i) und (iii) , und (iii) auf der Basis des Ergebnisses 
von (i) sowie der Schaltmatrix ausgefiihrt wird. 
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2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, 

dafi der Algorithmus die Schritte 

i ) r,,, = (1 - S)n ^Sf{x^,, ; vi, ), (0 < < 1) (28) 

ii) la,,, (27) 

5 iii) =7. (29) 

umfaBt, 

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet , 

dafi der Algorithmus die Schritte 

ij (10) 
10 ii) = (8) 

iii) n^.s^ri^^arj, [p[l{x,^, , v,,, ; vij - ^ - 77, ) { 9 ) 
umfalit. 

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet , 

dafi die ersten beiden Schritte aus 

15 i) der Bewertung des getrennten Signals durch Berechnung 
von zwei oder mehr zeitverschobenen Kovar ianzmatrizen und 

ii) der Adaptation der Schaltungsmatr ix durch simultane 
Diagonalisierung der Kovarianzmatrizen bestehen. 
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5. . Verfahren nach Anspruch 4 dadurch gekennzeichnet , 

dali die Berechnung der Kovarianzmat rizen adaptiv nach 

A7,,(ft = (1 - -^)A7(^) + -^Li^!'^^ ( 31 ) 

erfolgt^ wobei die Zeitverschiebung mindestens einmal den 
5 Wert Null annimint. 

6. Verfahren nach Anspruch 4, dadurch gekennzeichnet ^ 

dalJ die Adaptation der Lernrate gemali 

erf olgt . 

10 7. Verfahren nach Anspruch 4, dadurch gekennzeichnet , 

daft die simultane Diagonalisierung aus einem Whitening 
Schritt 

w-:., =f-f';-7;'(f^.A7;,fF/ -1) 03) 

und einer orthogonalen Transformation 

15 C=W;,,A7;X:. (34) 

K.^=K+n,UC..J',-K-tntKV,'C,.^K)] (35) 
besteht, so daft sich die Schal tmatr ix aus 

m;,, == K.if^,.i ' (36) 

ergibt . 
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8. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzelchnet , daB mindestes eines der folgenden 
Kriterien fur die Auswahl der Ausdrucke zur algorithmischen 
Berechnung verwendet wird: 

5 Sind (a) kontinuierliche Fehler f unkt ion und (b) die Hesse- 
matrix ermittelbar, so werden die Gleichungen 

angewandt . 

10 1st nur eine kontinuierliche Fehler funktion ohne Hessema- 
trix ermittelbar so werden die Gleichungen 

»B,,, =>a, -;7,/(x,,,,;.,,,;vi,), (27) 

r,,, = (1 - 5Y + 6f{x,^, ; iS, ), (0 < J < 1) (28) 

77,,, =7, +a7,(/?||r,,,||-7,), (2 9) 

15 angewandt, wobei der Gradient der Fehlerf unkt ion als Flufi 

dient und 

Hl(/)ll ist . 

1st nur (c) ein FluB ermittelbar, so werden die algorithmi- 
schen Ausdrucke 

4.1 =4 -7jG^/.n>'/.i;4). (27) 
20 = ( I - J)r, + 5f{x,^, 4 (0 < J < 1) (28) 

/7,,, =77, (29) 
angewandt und = • 

Ist (d) weder eine Fehler funktion noch ein Fluli ermittel- 
bar, so werden die algorithmischen Ausdrucke 
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A7.,(ft = (1 - -V)A7(ft + ( 31 ) 

n:.,=rj;+arj:(/3\\Km-rj;) . , (32) 

f^,., ='^,-'7;'(W',A7:,f^,'-l) (33) 

C,., =ff^.,A7-,f^:,. (34) 

5 =I^ + /7/.^[c;,,r,-^-^r/»(^^■'c,,,^';)] (35) 

h;., = fv.fJ^,., . (36) 
angewandt. 



9. Verfahren nach eineru der vorhergehenden Anspruche, 
dadurch gekennzeichnet , daB die Ermittlung des Flusses auf- 

10 grand von unabhangig aus dem Signalgemisch entnommenen Si- 
gnalproben und den entmischten Signalen erfoigt. 

10. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet , dafl der Flufi zur Beeinf lussung des 
adaptiven Algorithmus dient. 

15 11. Verfahren nach einem der vorhergehenden Anspruche, 
gekennzelchnet: durch die Anwendung auf nachr ichtentechni- 
sche, insbesondere akustische, Signale, medizinische Signa- 
le Oder Wirt schaf t s-Daten . 
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12.. Vorrichtung zur Durchfuhrung des Verfahrens nach ei- 
nem der vorhergehenden Anspruche, dadurch gekennzeichnet;, 

dali eine Rechenschaltung vorgesehen ist, welche die Aus- 



drucke 

5 =^ -7r/(^..i.J^/.i;^). (27) 

= (I - + ^7(^... ^>^.. ; ^ ), (0 < ^ < I) (28) 

7,.. =7, +^3r/7,(>^|r,,,|]-7,), (29) 
und/oder 

und/oder 

^/..tf) = 0-;T)^r(ft + -j7^..£. (31) 

n n, 

riU=n: +aTj:{p\Kl\-rj:) . (32) 

=ff',-7;'(f^,/^;;,^/-i) (33) 

15 C,,, =«C.,/C,;',ff;:, (34) 

K.^=K+n:u[c.^y.-v.-triuiv:'c,^m (35) 

H.,,, = . (36) 



in soft- Oder hardwaremaRiger Implementierung aufweist. 
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13. Vorrichtung nach Anspruch 7 oder 8, dadurch gekenn- 
zeichnet, dafi sie ein Zusatzgerat zu oder einen Teil einer 
Verarbeitungseinrichtung fur drahtlose oder drahtgebundene , 
insbesondere akustische, Signale, wie einer Anlage zur Auf- 
5 bereitung von Musik, einer Horhilfe, eines Gerausch- oder 
Storunterdruckungssystems und/oder eines medi zinischen Ce- 
rates und/oder eines Gerats zur Informationsauf bereitung 
oder -verarbeitung bildet. 

"k -k ^ 'k 
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in changing environments" 

ADVANCES IN NEURAL INFORMATION PROCESSING 

SYSTEMS 9. PROCEEDINGS OF THE 1996 

CONFERENCE, ADVANCES IN NEURAL INFORMATION 

PROCESSING SYSTEMS 9. PROCEEDINGS OF THE 

1996 CONFERENCE, DENVER, CO, USA, 2-5 DEC. 

1996, ISBN 0-262-10065-7, 1997, LONDON, 

UK, MIT PRESS, UK, 

Seiten 599-605, XP002062107 

siehe das ganze Dokument 

-/-- 



1,2 



3-10 



Weitere Veroffentllchungen sind der Fortsetzung von Feld C zu 
entnehmen 



□ 



Siehe Anhang Patenttamilie 



Besondere Kategohen von angegebenen Veroffentlichungen 
A" Verdffentlichung, die den allgemeinen Stand der Technik definlert, 
aber nicht als besonders bedeutsamanzusehen ist 



alteres Dokument, das jedoch erst am Oder nach dem internationalen 
Anmeldedatum verbftentlicht worden ist 



'L" Veroffentlichung, die geeignet ist, einen Priofitatsanspruch zwetfelhatt er- 
schetnen zu lassen, Oder durch die das Veroffentlichungsdatum einer 
and ere n im Recherchenbericht genannten Veroffentlichung belegt warden 
sol! Oder die aus einemanderen besonderen Grund angegeben ist (wis 
ausgefuhrt) 

'O" Veroffentlichung, die sich aut ©ine miindliche Offenbaning, 

eine Benutzung, eine Ausstetlung oder andere MafJnahmen bezieht 

P" Veroffentlichung, die vor dem internationalen Anmeldedalum, aber nach 
dem beanspnjchten Prioritatsdatum verdffentlicht worden ist 



'T" Spatere Veroffentlichung, die nach dem internationalen Anmeldedalum 
Oder dem Prioritatsdatum veroffentlicht worden ist und mit der 
Anmeldung nicht kollidiert, sondern nur zum Verstandnis des der 
Erfindung zugrundeliegenden Prinzips Oder der ihr zugrundeliegenden 
Theone angegeben ist 

"X" Veroffentlichung von besonderer Bedeutung: die beanspruchte Erfindung 
kann allein aufgrund dieser Veroffentlichung nicht als neu Oder auf 
erfinderischer Tatigkeit beruhend betrachtet warden 

"Y" Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nicht als auf erfinderischer Tatigkeit bemhend betrachtet 
warden, wenn die Veroffentlichung mit einer oder mehreren anderen 
Veroffentllchungen dieser Kategorie in Verbindung gebracht wtrd und 
diese Verbindung fur einen Fachmann naheliegend ist 

Veroffentlichung, die Mitglied derselbenPalentfamilie ist 
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.ales Aktenzeichen 
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C.(Fortsetzung) ALS WESENTLICH ANGESEHENE UNTERLAGEN 


Kategone' 


Bezeichnung der Veroffentlichung, sowett erforderlich unter Angabe dsr in Betracht kommenden Teile 


Betr. Anspruch Nr. 



VAN HULLE M M: "A novel unsupervised 
competitive learning rule with learning 
rate adaptation for noise cancelling and 
signal separation" 

NEURAL NETWORKS FOR SIGNAL PROCESSING IV. 
PROCEEDINGS OF THE 1994 IEEE WORKSHOP 
(CAT. N0.94TH0688-2), PROCEEDINGS OF IEEE 
WORKSHOP ON NEURAL NETWORKS FOR SIGNAL 
PROCESSING. ERMIONI, GREECE, 6-8 SEPT. 
1994, ISBN 0-7803-2026-3, 1994, NEW YORK, 
NY, USA, IEEE, USA, 
Seiten 3-11, XP002062108 
siehe Seite 3, Zeile 1 - Seite 9, Zeile 
36; Abbildungen 1,2 

CICHOCKI A ET AL: "Self-adaptive neural 
networks for blind separation of sources" 
1996 IEEE INTERNATIONAL SYMPOSIUM ON 
CIRCUITS AND SYSTEMS. CIRCUITS AND SYSTEMS 
CONNECTING THE WORLD, ISCAS 96 (CAT. 
N0.96CH35876), 1996 , ATLANTA , GA , USA, 
12-15 MAY 1996, ISBN 0-7803-3073-0, 1996, 
NEW YORK, NY, USA, IEEE, USA, 
Seiten 157-160 vol.2, XP002062109 
siehe Seite 157, linke Spalte, Zeile 1 - 
Seite 159, rechte Spalte, Zeile 13 

CICHOCKI A ET AL: "ROBUST LEARNING 

ALGORITHM FOR BLIND SEPARATION OF SIGNALS" 

ELECTRONICS LETTERS, 

Bd. 30, Nr. 17, 18. August 1994, 

Seite 1386/1387 XP000472070 

siehe das ganze Ookument 



BUREL G: "BLIND SEPARATION 
NONLINEAR NEURAL ALGORITHM" 
NEURAL NETWORKS, 
Bd. 5, Nr. 6, I.November 1992, 
Seiten 937-947, XP000334414 
siehe Zusammenfassung 
siehe Seite 943, linke Spalte, 
rechte Spalte, Zeile 21 
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